OpenAI lanza una Red de Evaluación Externa para reforzar sus modelos de inteligencia artificial
La inteligencia artificial (IA) continúa avanzando a pasos agigantados, y con ello surgen desafíos éticos y técnicos cada vez más complejos.
Actualidad | 20 de septiembre de 2023Pere Borrà s
Una de las principales preocupaciones es la robustez de los modelos de IA, y OpenAI ha decidido tomar medidas significativas al respecto. Hoy, te presentaremos la última iniciativa de OpenAI: la Red de Evaluación Externa de OpenAI, un grupo de expertos contratados que desempeñarán un papel fundamental en la evaluación de riesgos y estrategias de mitigación de modelos de IA de la compañía.
El mundo de la IA se está convirtiendo en un campo cada vez más crucial a medida que tecnologías generativas como GPT-4 y DALL-E 2 se vuelven parte de nuestra vida cotidiana. Sin embargo, como se ha señalado en el pasado, estos modelos pueden tener sesgos y limitaciones que necesitan ser identificados y abordados. Aquí es donde entra en juego el concepto de "red teaming".
La red teaming se ha convertido en un paso esencial en el proceso de desarrollo de modelos de IA. Consiste en la evaluación crítica de los modelos por parte de un grupo de expertos externos, con el objetivo de identificar posibles sesgos, fallas y áreas de mejora. Aunque el red teaming no necesariamente soluciona estos problemas, puede ser fundamental para detectarlos y definir estrategias para abordarlos.
Un ejemplo destacado de por qué el red teaming es crucial es el caso de DALL-E 2 de OpenAI, que fue criticado por amplificar estereotipos relacionados con raza y género. Además, se han observado problemas en los modelos de generación de texto, como ChatGPT y GPT-4, que a veces ignoran filtros de seguridad. Estos problemas resaltan la importancia de contar con una evaluación crítica de expertos externos.
OpenAI ha colaborado previamente con expertos externos a través de su programa de recompensas por errores y su programa de acceso a investigadores. Sin embargo, la Red de Evaluación Externa formaliza y amplía estos esfuerzos al trabajar con científicos, instituciones de investigación y organizaciones de la sociedad civil. El objetivo es profundizar y ampliar la colaboración con expertos en diversas etapas del desarrollo de modelos y productos de IA.
Los miembros de la Red de Evaluación Externa serán convocados según su experiencia para participar en evaluaciones críticas de los modelos y productos de OpenAI. Esto significa que serán una parte activa en la evaluación de riesgos y la mejora continua de la IA de OpenAI.
Pero esta red no se limita a evaluaciones específicas encargadas por OpenAI. Los miembros también tendrán la oportunidad de interactuar entre ellos y compartir buenas prácticas en la evaluación crítica. Esto fomenta un intercambio de conocimientos y experiencia que beneficia a la comunidad en general.
OpenAI está buscando una amplia gama de expertos en diferentes campos, desde lingüística hasta biometría, finanzas y atención médica. Lo que es especialmente interesante es que no se requiere experiencia previa con sistemas de IA o modelos de lenguaje para ser elegible. La compañía valora más la disposición de los expertos a involucrarse y aportar su perspectiva en la evaluación de los impactos de los sistemas de IA.
Sin embargo, es importante destacar que las oportunidades en la Red de Evaluación Externa pueden estar sujetas a acuerdos de no divulgación y confidencialidad, lo que podría afectar a otras investigaciones en las que los miembros estén involucrados. Esto subraya la seriedad con la que OpenAI se toma la evaluación de sus sistemas y la necesidad de mantener ciertos aspectos en secreto para garantizar la seguridad y la integridad de la IA.
A pesar de la importancia del red teaming, algunos argumentan que podría no ser suficiente. En un artículo reciente, Aviv Ovadya, colaborador de Wired y afiliado al Berkman Klein Center de Harvard y al Centre for the Governance of AI, aboga por el concepto de "violet teaming". Esta idea implica identificar cómo un sistema de IA, como GPT-4, podría perjudicar a una institución o al bien público y luego desarrollar herramientas utilizando ese mismo sistema para defender la institución y el bien público.
La idea de violet teaming es intrigante y podría ser una forma efectiva de abordar las limitaciones de la IA. Sin embargo, como señala Ovadya en su artículo, actualmente hay pocas incentivos para implementar esta práctica, y mucho menos para ralentizar el lanzamiento de sistemas de IA para permitir un tiempo suficiente de evaluación.
En este contexto, las redes de evaluación externa, como la de OpenAI, parecen ser la mejor opción disponible en este momento. Estas redes reúnen a expertos de diversas disciplinas para evaluar críticamente los modelos de IA y garantizar que sean más seguros, éticos y útiles para la sociedad en general.
OpenAI está tomando un enfoque proactivo para abordar los desafíos éticos y técnicos de la IA, y su Red de Evaluación Externa es un paso importante en esa dirección. Al colaborar con expertos de todo el mundo, la compañía busca garantizar que sus modelos sean lo mejor posible y que sus impactos sean positivos para todos. Esta iniciativa demuestra que OpenAI se toma en serio su compromiso de desarrollar la IA de manera responsable y ética.
